Castrovilli bắt đầu chơi bóng tại trường bóng đá Minervino. Lúc 11 tuổi, anh gia nhập hệ thống đào tạo trẻ của Bari. Anh có màn ra mắt đội một ở Serie B năm 2015, và sau đó được chọn vào đội hình xuất phát dưới thời huấn luyện viên Roberto Stellone trong mùa giải 2016-17, có tổng cộng 11 lần ra sân.[2][3]

Màn trình diễn của anh thu hút sự chú ý của Fiorentina, sau đó anh được gửi đi dưới dạng cho mượn đến đội trẻ của Florentine để gia nhập Torneo di Viareggio năm 2016, ghi một bàn trong trận hòa 1-1 trước đội bóng Argentina Belgrano; đội chính sau đó thu nạp anh từ Bari với điều khoản vĩnh viễn giá trị €400,000. Sau 6 tháng ở đội primavera, năm 2017 anh được gửi dưới dạng cho mượn đến Cremonese ở Serie B trong hai mùa giải năm 2017, có tổng cộng 53 lần ra sân, ghi 5 bàn thắng.[2][3][4]

Năm 2019, anh trở lại Fiorentina, và nằm trong kế hoạch xây dựng đội một của Vincenzo Montella; sau đó anh có màn ra mắt tại Serie A trước Napoli trong cùng năm.[2][3]